系列文章深度解析ChatGPT获得智能的数学物理机理

笔者上个月在“ChatGPT是第一个真正意义的人工通用智能”一文中，粗略阐述了ChatGPT获得真正意义上的智能的机理，有读者反映期望看到详细的解析。 由于其中涉及大量的数学和物理的背景知识，笔者计划整理一系列文章来全面并且深度解读ChatGPT ( GPT3.5）获得智能的数学物理机理，欢迎大家关注本公众号“清熙”。

大致的内容涉及：

1. 学习语言需要相变

2. 相变

3. 香农对语言生成的先哲判断

4. 尺度重整化

5. 神经网络与重整化

6. Transformer和Ising Model

7. Transformer/Attention与能量模型

8. Transformer与自由能最小化

9. 自由能最小化与重整化

10. Transformer与重整化

11. 重整化（变分形式）与最优输运

12. 最优传输和Wasserstain距离

13. Bayesian推理

14. 动态Bayesian推理

15. Bayesian重整化

16. 重整化与相变

17. 费雪信息与费雪几何模型

18. 信息熵与信息几何

19. 大语言模型熵减与涌现

20. 大模型的概率球与量子计算机
    

    香农在《通信的数学理论》中说：这样看来，一个足够复杂的随机过程将给出一个离散源令人满意的表示。It appears then that a sufficiently complex stochastic process will give a satisfactory representation of a discrete source。